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Про деякі нові особливості використання 
прихованих марковських моделей 
для аналізу та прогнозування часових рядів 


У статті розглядаються деякі нові підходи до аналізу та прогнозування часових рядів за допомогою 
математичного апарату різноманітних прихованих марковських моделей. Пропонується використання 
сумішей неоднорідних прихованих марковських моделей для аналізу часових рядів, а також для прогнозування 
часових рядів пропонується використання гібридної моделі - нечіткої прихованої марковської моделі. 


Вступ 

Метою даної роботи є розробка нових підходів до аналізу та прогнозування ча- 
сових рядів на основі математичного апарату прихованих марковських моделей. 

Пропонується підхід до побудови гібридної моделі на основі апарату нечітких мно- 
жин та прихованих марковських моделей (ПММ), яка отримала назву нечіткої при- 
хованої марковської моделі (НИММ). Будемо застосовувати вже відомі принципи гіб- 
ридизації різноманітних моделей з прихованими марковськими моделями | 11, (21. 
Особливістю цього підходу є застосування алгоритму нечіткого очікування в ПММ. 
Цей підхід полягає у застосуванні алгоритму на кшталт алгоритму максимального очі- 
кування, подібного до алгоритму Баума-Велша. 

Надалі нами розглянуті випадки дискретних та безперервних ПММ та показуєть- 
ся вища продуктивність НПММ порівняно зі звичайними ПММ. 

Кластеризація нечітких середніх (КНС) є одним з найбільш використовуваних 
підходів кластерного аналізу |3|. На основі цього підходу відоме рішення, що отри- 
мало назву нечіткого квантування векторів |4|, але в ньому передбачений виключно 
дискретний варіант - спостереження дискретних символів. Він не застосовується до 
безперервних ПММ, тобто коли спостереження є безперервним та стоїть задача мо- 
делювання функції щільності ймовірностей. 

В останні роки для аналізу часових рядів застосовується апарат прихованих мар- 
ковських моделей (ПММ) (51, 16). У цьому випадку неоднорідність може виникнути 
в часі таким чином, що буде зачіпати прихований процес, тобто ймовірності переходу 
між прихованими станами. 


Формалізація моделі 


Перед нами стоїть проблема створення підходу, який можна було б застосовувати 
як для дискретних, так і для безперервних ПММ. Відзначимо, що фактично нам треба 
дати відповіді на такі три нагальні питання. 
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Наш підхід буде своєрідною гібридною моделлю використання теорії нечітких 
множин та алгоритму максимізації для оцінки параметрів 4 моделі ПММ. Для вирішення 
наших бо звернемося до визначення функції приналежності 5 є 5, (/ з Їж, (0)|, 


2 мо -.1, «и, о ПЕ для максимального ЦО, А) з 108 Р(О/) на досліджуваному 


набої даних О за допомогою функції, визначеної як (0, (С 5 4), та певними зусиллями 
для максимізації 2. При цьому Е - константа більша за 1. Також за нашим алгорит- 
мом НМО повинно бути отримано 0, (с,л)з О, (С ,4), що фактично отримується у 
два кроки. 

Перший крок - визначення И , де Ох С, Дів ОО (С УР А вже на другому кроці 
знаходимо 4, для якої справедливо співвідношення 0, с,» ОО 2,4). 

Шкала незалежних досліджень О та 5-станів визначається за наступними рівнян- 


нями: 
0, ір2.1 о), а(о)- Лов Р(о,з|А). 
Для максимізації О,. і 7 в останньому рівнянні треба максимізувати КНС функ- 
цію: 
аю) 


У цьому рівнянні а, (о) - відстань або шкала незалежних досліджень О та ста- 
нів Г, вираз отримання якого буде наведений пізніше. Оцінка параметрів 4 має на- 
ступні кроки. 

1. Спочатку визначимо величину константи Й, визначити 5 та першу частину 
параметрів для 4. 

2. Надалі обчислимо Г/ та Ор С ,4) на основі Д та (/. 

3. Визначимо 4, коли максимальне О,. (с б 

4. Міняємо У на / та ЛА на А та повторюємо з другого кроку. 

Тепер розглянемо дискретні нечіткі приховані марковські моделі. 

Нехай у нас буде О0,. (С, 9 - функція з наведеного вище рівняння: 


М мМ 
О, | (С, 4)- У У Ук, (о, Лов Р(О, У б - М), 
еф ічзі узі 
деи о. ) - функція приналежності, що вказує, за якою мірою послідовності спосте- 
режень О належить стан і на момент часу І тастан ) на момент часу /- |, та яка за- 
довольняє наступним умовам: 


М мМ 
У Зо) «і, о«и(о бу В 


із узі 
Нечіткі О-функції досліджуваної послідовності даних для нечітких ПММ визна- 
чаються наступним чином: 
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де "НС ,) - відстань недосліджуваного о, в стані і на момент часу / тастані ) на мо- 


мент часу 1-1, яка задовольняє наступному співвідношенню: 
окИ,4) -Хи 0 (0ов РІО, 5/1). 


Застосовуючи ті ж самі методи арії що Й для традиційних ПММ, пара- 
метри нечітких ПММ оцінюються наступним чином: 


45 о,)- -Лов Ро, з, З зба З ЛА) -Ловіом (а о, а) ОБ 


Надалі розглянемо принцип гібридизації безперервних нечітких ПММ. 
Тепер нехай О,. (С 5 1) - нечітка функція параметрів ПММ - визначається на ос- 
нові НМО алгоритму: 


о,(0,1)- У У У па (о, Лов|с Мо мах (1) 


їеі іс Каї 
Аналогічно до дискретного випадку, нехай ик (о а Пе функція приналежності, що 


вказує, за якою мірою послідовності спостережень О належить стан і на момент ча- 
су і тастан ; на момент часу / ЧІ, та яка задовольняє наступним умовам: 


М М 
У У амо,) З 1, 0 «и (о ) 41. 


ізі Каї 
Елементи нечітких функцій в рівнянні (1) обчислюються наступним чином: 


де відстань (о ) знаходимо зі співвідношення, наведеного нижче, та величина якого 


показує масштаб неспостережності о, в стані / та момент часу / та комбінації ( -хХ. 


їн 2 2 -108РІо,, 5 .2)К, -кИ)- -Іоріа, (даув (о М Мо рус) 


Використовуючи той самий метод оптимізації стосовно НМО параметрів нечіт- 
кої ПММ, отримуємо наступні ен оцінки: 


Т о Т во зни. А 
2» Ми (о, ) у (о те» Я (о, Хо, "Но ДОГ 
їз ти 


ря 
, де - , 4 - 


гчжомо г вано 21 т і 
У Хм о,) Уио, мо ,) 
їеі зі їзі їзі 
Ми представляємо кінцеву суміш НОПММ, де кожний з компонентів відрізняє- 
ться лише прихованим процесом. Наша мета має два аспекти: класифікувати предмети 
за їх поведінкою у часі та за оцінками непараметричної максимальної правдоподіб- 
ності змішаних НОПММ. Ефективність даної пропозиції планується перевірити за до- 
помогою експериментів на побудованій моделі дослідження. 
Багато уваги під час аналізу даних часових рядів приділяється еволюції окремих 
прихованих характеристик, які можуть бути оцінені непрямим способом через декілька 
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відповідних змінних. Моделі такого роду аналізу відомі під назвою прихованих мар- 
ковських моделей (ПММ), де інтерес до еволюції прихованої характеристики пред- 
ставляється неспостережуваним ланцюгом Маркова з невеликою кількістю станів та 
відповідних змінних, які вважаються умовно незалежними від заданого прихованого 
процесу. 

Така схема аналізу з використанням однорідних ПММ може бути застосована 
для аналізу даних кількох людей, які спостерігаються періодично, для опису розвитку 
хвороби або змін у динаміці поведінки. Але припущення про однорідність в моделі 
Маркова, тобто що ймовірності переходів є постійними в часі та між окремими особа- 
ми, можуть бути серйозним обмеженням для використання цих моделей. 

Щоб розв'язати цю проблему, пропонується ввести поняття неоднорідних ПММ. 
Це дозволяє матриці переходу прихованого ланцюжка змінюватися у часі або за іншим 
параметром на основі екзогенних коваріацій. Треба зауважити, що не завжди наявні 
коваріації в змозі охопити всі окремі однорідні джерела дослідження. У цьому випадку 
приходимо до так званого класу змішаних ПММ. Недосліджувані окремі неоднорід- 
ності можна моделювати за допомогою підходу прихованого класу. Особи групуються 
у класи за прихованою неконтрольованістю з урахуванням їх динамічної поведінки. 
Отримана модель є сумішшю ПММ, де непомітні джерела неоднорідності. Цей під- 
хід дозволяє аналізувати дані в різних ситуаціях. Тим не менше, такий вибір може на 
практиці мати певні складності в обчисленні, саме ті складності, що виникають при 
оцінці чергового кроку. Оцінка ПММ може здійснюватися через вже добре відомі ме- 
тоди, такі як метод максимальної правдоподібності, метод Монте-Карло або через метод 
оцінки підпростору. Всі методи створюють певні проблеми із складністю обчислень. 
В нашому випадку змішаних ПММ може стати цікавим 1 цілком корисним метод не- 
параметричної максимальної правдоподібності (НИМП), де розподіл випадкових впли- 
вів оцінюється дискретними багатовимірними випадковими величинами з кінцевим 
числом опорних точок. У результаті НИМП оцінки призводять до кінцевої суміші ПММ, 
як 1 у випадку прихованого класу ПММ. 


Висновки 


Підвищення ефективності оцінки ПММ можна продемонструвати на основі роз- 
пізнавання траєкторій, які залишає «мишка». Навчання відбувалося за 8 траєкторіями 
(сеансами роботи за чітко визначеним алгоритмом), які виконували 8 людей. Для пере- 
кодування використовували структурний лінгвістичний підхід |71, 1391. 

При цьому якість розпізнавання на проведених дослідах показала 10905 помилок 
при використанні традиційного підходу для дискретних ПММ, на відміну до майже 
590 при застосуванні нечітких дискретних ПММ. 

До того ж на безперервних ПММ були отримані 8 Ус для традиційного та 4 У -- 
для використання НМО. 

Наведені дані підтверджують підвищення якості розпізнавання для цього типу 
сигналів. 

Ми запропонували використання кінцевої суміші НОПММ за рахунок розши- 
рення теорії Діаса для неоднорідного випадку |9|. Передбачається, що недосліджува- 
на однорідність впливає тільки на прихований процес, тоді як окремі розподіли, стала 
часу, випадкові параметри мають дискретний характер. В такий спосіб ми визначаємо 
доволі гнучку модель для опису широкого спектра динаміки поведінки, що забезпечує 
як неконтрольовану класифікацію суб'єктів та напівпараметричну оцінку змішаної 
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ПММ. Параметри моделі оцінюються за допомогою максимальної правдоподібності 
та за допомогою ЕМ-алгоритму. 

Такий підхід можна розглядати як можливе вирішення питань, які виникають 
при проведенні обчислювальних експериментів зі змішаними НОПММ. 
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И.В. Баклан, А.А. Степанкова 

Про некоторье новьге особенности использования скрьтьгх марковских моделей 

для анализа и прогнозирования временньгх рядов 

В статье рассматриваются некоторьгте новьте подходьт к анализу и прогнозированию временньгх рядов 
с помощью математического аппарата скрьтьгх марковских моделей. Предлагаєтся использованиє смесей 
неоднородньтх скрьттьтх марковских моделей для анализа временньтх рядов, а также для прогнозирования 
временньгх рядов предлагаєтся использование гибридной модели -- нечеткой скрьтой марковской модели. 


1. У. ВаНанп, С.Е. УтерапКоуа 
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АЇ8о ме соп5ідег зоте ргорегіїе5 ої пубгід Ги7гу Біддеп МагКоу"я плодеі8 Гог те 5егіе5 ргодпобі8. 


Стаття надійшла до редакції 30.06.2010. 
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